Distill Globally, Adapt Locally: Reasoning Distillation and Product-Type Test-Time Training for Scalable Trade-Up Recommendation
全局蒸馏、局部适配：面向可扩展升级推荐的推理蒸馏与产品类型测试时训练
🧭 LLM知识蒸馏与测试时适配用于商品关系推荐 ★ 深度解读
Amazon Everyday Essentials Technologies
将LLM推理蒸馏成轻量embedding对分类器，并用商品类型级测试时训练进一步适配，实现无LLM推理的高效升级推荐
📌 工作参考价值（4 点）
- 离线蒸馏替代在线LLM：在电商catalog级商品关系判定中，用LLM离线生成标注+理由，蒸馏到15.5M参数embedding-pair分类器，推理仅需两个预计算768维向量，速度提升5000倍，成本降低10000倍。该方法可直接迁移到商品替代/互补关系、query-商品匹配等大规模打分任务。
- 保留细粒度标签比二分更有效：蒸馏时保留LLM的四分类（similar、反向升级、升级、不相关）标签比合并成二分类更能让rationale监督发挥作用（AUC 0.912→0.924 vs 0.911→0.911）。在业务中若关系本身有方向或等级，不要为了简化而合并类别。
- 按品类/商品类型做轻量测试时适配：每个product-type用少量专家标注support set（K=32）微调LoRA adapter，比全局统一adapter提升更显著（AUC 0.940 vs 0.929），而且推理成本不变。适合新品冷启动或品类间标准差异大的场景。
- Support set复用降低标注成本：同一批专家标注示例既作为LLM的few-shot演示，又作为测试时训练的梯度监督，最大化样本利用率。工程实现时可将此设计为统一的数据pipeline。